Hardy sinh ra tại Hammersmith, London,[2] là đứa con duy nhất của Anne (née Barrett) và Edward "Chips" Hardy.[3] Anh lớn lên tại East Sheen, London.[4] Mẹ anh là họa sĩ sinh ra trong gia đình gốc Ireland, [5] còn bố anh viết truyện hài và tiểu thuyết.[6][7] Hardy theo học tại trường Tower House và Reed's, rồi đến trường Richmond Drama, và sau cùng là Drama Centre London.